1.1 Présentation

Logiciel de traitement de données et analyse statistique :

• offre un environnement interactif de développement statistique, analytique et graphique ;

• est doté d’un langage de programmation R ;

• permet d’accéder à des données, de les manipuler et les analyser ;

• S’interface avec les bases de données : Oracle, SYBASE, PostgreSQL, SQLITE…

Remplace SAS ou SPSS

Logiciel IDE : Integrated Development Environment

1.2 Pourquoi utiliser R

1.3 Comment travailler avec R au MASA ?

Depuis la plate-forme CERISE :

• ⇒ Adresse : https://rstudio.agriculture.rie.gouv.fr

• ⇒ PISTACHE : Pistache > Traitements statistiques et Diffusion > R > Migration SPSS et SAS vers R > Accès au WIKI Cerise - R > Accéder à Cerise

En local sur son poste, sans intervention de Pastel

Existence d’une plate-forme CERISE de Préproduction :
https://rstudio-pprd.agriculture.rie.gouv.fr

1.4 Fenêtres dans RSTUDIO

1.5 Organisation sous CERISE

Cerise est organisé en plusieurs répertoires :

• 00-Espace-Personnel => espaces personnels des agents, accessible par l’agent uniquement

• 01-Espace-de-Partage => lieu de partage général entre les différents acteurs

• 02-Espace-de-Production => plateforme de stockage des données brutes collectées, ainsi que des fichiers de données et programmes issus des traitements statistiques réalisés par l’équipe projet

• 03-Espace-de-Diffusion => mise à disposition au sein du SSM des données issues des traitements statistiques réalisés en amont => Ces deux derniers espaces sont découpés par opérations statistiques

• 04-Espace-Echanges => stockage des fichiers de données à transmettre aux autres applications du SI CASSIS (par exemple Agreste) ainsi qu’aux SI des partenaires extérieurs

2.1 Les vecteurs :

• Objet élémentaire de R, une dimension

• Ensemble de valeurs, appelées éléments, de même nature (nombres, chaînes de caractères, booléens…)

• Création de vecteurs avec la fonction c() :

x ← c(TRUE, TRUE, FALSE) is.logical(x)

x ← c(8.04, 18.01, 11.05, 14.05) is.numeric(x)

x ← c("Chaîne1", "804", "Chaîne3") is.character(x)

• Fonctions utiles sur les vecteurs : length(), class(), names(), summary(), sort(), head(), tail(), unique()

2.2 Les matrices et arrays :

• Une matrice est composée d’un ou de plusieurs éléments de mêmes types, organisés en deux dimensions.

Une array est composée d’un ou de plusieurs éléments de mêmes types, organisés en plusieurs dimensions.

• Création de matrice avec la fonction matrix() :

# Création d'une matrice de numériques avec deux lignes et trois colonnes, remplissage par colonne.`
matrix(c(1,2,3,4,5,6), nrow = 2, ncol = 3) 

#      [,1] [,2] [,3]
# [1,]    1    3    5
# [2,]    2    4    6

• Fonctions utiles : dim(), nrow(), ncol()

2.3 Les listes et data.frame :

• Une data.frame est composée de vecteurs nommés de tailles égales mais pouvant être de types différents.

• Une liste est composée d’objets différents.

• Création avec les fonctions data.frame() et list() :

x ← list(c(TRUE, TRUE, FALSE),           # 1er élément : un vecteur de trois booléens
         c(8.04, 18.01, 11.05, 14.05),   # 2e élément : un vecteur de quatre numériques
         c(""804"))                      # 3e élément : un vecteur d'une chaîne de caractères
         
`x ← data.frame(nom=c("Yaël","Luan","Jade"),  # 1er élément : un vecteur « nom » de trois chaînes de caractères`
                sexe = factor(c("H","F","F"), # 2e élément : un vecteur « sexe » de trois chaînes de caractères (en facteurs)
                age = c(5,1,3))               # 3e élément : un vecteur « age » de trois numériques 
                

3.1 Vecteur, indexation avec les crochets:

• Indexation par position :

x <- c("Marion", "Benjamin", "Hélène", "Raymond"))

x[1] renvoie "Marion"

x[c(1, 2)] renvoie le vecteur c("Marion", "Benjamin")

• Indexation par condition logique :

x <- c(8.04, 18.01, 11.05, 14.05)

x[x < 10] renvoie 8.04

x[x > 10] renvoie le vecteur c(18.01, 11.05, 14.05)

x[x >10 & x < 15] renvoie le vecteur c(11.05, 14.05)

3.2 Matrices et arrays,indexation avec les crochets:

Indexation par position :

x <- matrix(c("Marion", "Benjamin", "Hélène", "Raymond"), nrow = 2, ncol = 2)

x[1,] renvoie le vecteur c("Marion", "Hélène")

x[,2] renvoie le vecteur c("Hélène", "Raymond")

x[2,1] renvoie "Benjamin"

     [,1]       [,2]     
[1,] "Marion"   "Hélène" 
[2,] "Benjamin" "Raymond"

3.3 Listes :

• Indexation par position :

x <- list(c(TRUE, TRUE, FALSE), c(8.04, 18.01, 11.05, 14.05), "804")

x[[2]] renvoie le deuxième vecteur de la liste x soit c(8.04, 18.01, 11.05, 14.05)

x[[2]][1] renvoie le premier élément du deuxième vecteur de la liste x soit 8.04

• Indexation par nom si les vecteurs sont nommés avec l’opérateur $ :

x <- list(grp = c("Auguste", "Justine", "Sébastien", "Anne-Marie"), prt = c("Hélène", "Raymond"), enf = c("Marion", "Benjamin")

x$grp renvoie le vecteur nommé "grp" de la liste x soit c("Auguste", "Justine", "Sébastien", "Anne-Marie")

x$enf[1] renvoie le premier élément du vecteur nommé "enf" de la liste x soit "Marion"

3.4 Data.frame (1/2)

• Indexation par position : comme pour les matrices

• Indexation par nom : les vecteurs d’une data.frame sont nommés et accessibles directement dans les crochets ou via l’opérateur $

• Les moyens d’indexation peuvent se combiner

→ Il y a donc une multitude de façons d’accéder à une valeur dans un data.frame !

3.5 Data.frame (2/2)

4.1 Les tables de données

Les tables de données sont très souvent des objets de type data.frame. Fonctions utiles :

• str() donne la structure de la table, names() le vecteur des noms de colonnes

• head() et tail() affichent respectivement, par défaut, les 6 premières et les 6 dernières lignes de la table

• dim() renvoie un vecteur composé du nombre de lignes et du nombre de colonnes de la table

4.2 Manipulation de données

• La partie Manipulation de données va fournir les outils nécessaires aux traitements classiques à opérer sur une table de données.

• À part pour la lecture et l’écriture de fichiers, les outils proposés relèvent des packages dplyr et tidyr : ils sont d’un usage plus simple que les outils R de base et couvrent beaucoup des fonctionnalités les plus courantes.

4.3 Outils DPLYR & TIDYR

• Objectif de dplyr : rassembler dans un seul package les outils de manipulation de données les plus importants pour l’analyse des données

  ⇒ ensemble de fonctions correspondant à un ensemble d’opérations élémentaires

• Deux principes pour les packages tidyr et dplyr :

  • Usage de fonctions « verbe » toutes construites sur le même principe : le premier paramètre est la table de données sur laquelle on travaille.

  • Usage de l’opérateur pipe (issu du package magrittr) Dans R-Studio, le raccourci clavier pour cet opérateur est : Ctrl + Shift + M

4.4 Filtre et sélection dans une table (1/2)

• Avec R de base, on utilise les techniques d’indexation

ma_table[1,] : toutes les variables pour la première observation

ma_table[,4] : toutes les observations de la 4e variable

ma_table[,''Profession''] : toutes les observations de la variable Profession

ma_table[1,4] : première observation de la 4e variable

4.5 Filtre et sélection dans une table (2/2)

• Avec le package dplyr :

  • Pour sélectionner des colonnes dans une table, on utilise la fonction

    • select() maTable %>% select(noms_des_colonnes)

  • Pour filtrer les lignes dans une table à l’aide de conditions logiques, on utilise la fonction filter()

    • maTable %>% filter(conditions)

ma_table %>% filter(Profession == ''Militaire'')

ma_table %>% filter(Age < 30) %>% select(Nom_prenom)

4.6 Création ou modification de variables dans une table

• Avec R de base, on utilise l’opérateur d’affectation :

  • table$new_var <- variable → formule générique

  • table$new_var <- valeur_constante → création d’une constante

  • table$new_var <- fonction(table$var1) → création à partir d’une formule

  • table$new_var <- table$var1 + table$var2 → création à partir d’opérations

  • table$new_var <- vecteur1 OU table1$new_var <- table2$var1 → création à partir de variables externes

  • table$new_var <- ifelse(table$varref < x, val1, val2) OU table$new_var <- case_when(table$varref < x ~ val1, TRUE ~ val2) → traitement conditionnel

4.7 Création ou modification de variables dans une table

• Avec le package dplyr, on utilise la fonction mutate() qui permet de créer plusieurs variables à la fois et permet de s’affranchir de l’indexation :

  `table ← table %>% mutate(new_var1 = var1, newvar2 = var2)` →
  formule générique
  
  `table ← table %>% mutate( new_var1 = constante,` → création
  d'une constante 
  
  `new_var2 = fonction(var1),` → création à partir
  d'une formule
  
  `new_var3 = var1 + var2,`→ création à partir d'opérations
  arithmétiques\
  
  `new_var4 = vecteur1)` → création à partir de variables externes

  Pour modifier une variable on affecte la nouvelle valeur à une variable existante

4.8 Fonctions utiles au traitement des chaînes de caractères

4.9 Tri dans une table

• Pour trier une table selon une ou plusieurs variables, on utilise la fonction arrange()

maTable %>% arrange(variables_de_tri)

→ possibilité de trier selon plusieurs colonnes : les variables de tri doivent être séparées par une virgule.

→ on encadre les variables qu’il faut trier de façon décroissante par la fonction desc().

4.10 Fusion de tables

• Pour fusionner deux tables en utilisant une ou plusieurs variables de jointure, on utilise les fonctions XXX_join()

4.11 Joindre des tables avec une variable de jointure

4.12 Fusion de tables

• Il est possible de réaliser une jointure à l’aide de plusieurs variables identifiantes : l’argument by s’écrit alors c(‘’id1’‘,’‘id2’’, …)

• Lorsque les variables de jointure ont des noms différents dans les deux tables, l’argument by prend comme paramètre un vecteur du type c(‘’id1_tab1’’ = ‘’id1_tab2’‘,’‘id2_tab1’’ = ‘’id2_tab2’’,…)

• Si rien n’est précisé, la fusion se fait sur l’ensemble des variables portant le même nom dans les deux tables

4.13 Agrégation dans une table

• Pour résumer les données d’une table en une seule statistique, on utilise la fonction summarise()

maTable %>% summarise(fonctions_stat(variable))

• Pour agréger les données d’une table par groupe d’une ou plusieurs variables catégorielles on utilise la fonction group_by() avant la fonction summarise()

maTable %>% group_by(var_groupe)%>% summarise(fonctions_stat(variable))%>% ungroup()

→ possibilité de calculer plusieurs statistiques en séparant les instructions par une virgule

→ on peut utiliser les fonctions statistiques de base telles que max, min, mean, sd, n…

→ ungroup permet de ne plus tenir compte du regroupement par la suite (avec l’argument drop = FALSE)

4.14 Transposition ou réorganisation de table

Pour réorganiser une table, c’est à dire passer des lignes en colonnes ou inversement, on utilise les fonctions pivot_wider() et pivot_longer() du package tidyr.

4.15 Pivot_wider()

maTable %>% pivot_wider(col_de_noms, col_de_valeurs)

• col_de_noms = nom de la variable dont les modalités deviendront les intitulés de colonne

• col_de_valeurs = nom de la variable à utiliser pour remplir les colonnes

4.16 Pivot_longer()

maTable %>% pivot_longer( variables_apivoter , names_to = "indicateur", values_to = "valeur")

• variables_a_pivoter = nom de l’ensemble des variables à représenter

• names_to = nom de la première colonne à créer

• values_to = nom de la deuxième colonne à créer

4.17 Exemples sur les pivots

# Passage de tab1 à tab2 avec la fonction pivot_wider()
tab2 ← pivot_wider(tab1, names_from = mesure, values_from = temperature)
# Passage de tab2 à tab1 avec la fonction pivot_longer() 
tab1 ← pivot_longer(tab2, c(min, max, moy), names_to = "mesure", 
  values_to = "temperature")

4.18 Lecture/ Ecriture de fichiers

4.19 Base de données avec R

• R offre la possibilité d’effectuer des requêtes SQL sur des bases de données externes.

• Des informations pour la connexion sont nécessaires : library(RPostgres)

cnx <- dbConnect(Postgres(), dbname = ''sirene'', port = 5432, host = ''00.11.22.33'', user = ''nom_user'', password = ''mdp'')

• Il suffit ensuite d’écrire les requêtes normalement à l’aide de la fonction dbGetQuery :

dbGetQuery(cnx, ''SELECT * FROM TABLE'')